常见评价指标

ROC、AUC

正确率(Precision):
$Precision = \frac{TP}{TP + FP}$
真阳性率(True Positive Rate, TPR)，灵敏度(`Sensitivity)，召回率(Recall)：
$Sensitivity = Recall = TPR = \frac{TP}{TP + FN}$
真阴性率(True Negative Rate, TNR)，特异度(Specificity):
$Specificity = TNR = \frac{TN}{FP + TN}$
假阴性率(False Negatice Rate, FNR)，漏诊率(= 1 - 灵敏度)：
$FNR = \frac{FN}{TP + FN}$
假阳性率(False Positice Rate, FPR)，误诊率(= 1 - 特异度)：
$FPR = \frac{FP}{FP + TN}$
阳性似然比(Positive Likelihood Ratio (LR+) )：
$LR+ = \frac{TPR}{FPR} = \frac{Sensitivity}{1-Specificity}$
阴性似然比(Negative Likelihood Ratio (LR-) )：
$LR- = \frac{FNR}{TNR} = \frac{1-Sensitivity}{Specificity}$
Youden指数(Youden index):
Youden index = Sensitivity + Specificity - 1 = TPR - FPR

如下面这幅图，(a)图中实线为ROC曲线，线上每个点对应一个阈值

(a) 理想情况下，TPR应该接近1，FPR应该接近0。ROC曲线上的每一个点对应于一个threshold，对于一个分类器，每个threshold下会有一个TPR和FPR

比如threshold最大时，TP=FP=0，对应于原点；threshold最小时，TN=FN=0，对应于右上角的点(1, 1)

横轴FPR：1-TNR，1-Specificity，FPR越大，预测正类中实际负类越多
纵轴TPR：Sensitivity(正类覆盖率)，TPR越大，预测正类中实际正类越多
理想目标：TPR=1，FPR=0，即图中(0, 1)点，故ROC曲线越靠拢(0, 1)点，越偏离45度对角线越好，Sensitivity、Specificity越大效果越好

(b) P和N得分不作为特征间距离d的一个函数，随着阈值theta增加，TP和FP都增加